GermanWikipedia - /page/entry.mu

<!DOCTYPE html>

<title>Lineare Regression</title>

</head>

<h1 id="firstHeading" class="firstHeading mw-first-heading"><span class="mw-page-title-main">Lineare Regression</span></h1>

</header>

</div>

<div id="mw-content-text" class="mw-body-content mw-content-ltr" lang="de" dir="ltr"><div class="mw-content-ltr mw-parser-output" lang="de" dir="ltr"><p>Die <b>lineare Regression</b> (kurz: <b>LR</b>) ist ein Spezialfall der <a href="Regressionsanalyse" title="Regressionsanalyse">Regressionsanalyse</a>, also ein <a href="Statistik" title="Statistik">statistisches</a> Verfahren, mit dem versucht wird, eine beobachtete <a href="Abh%C3%A4ngige_Variable" class="mw-redirect" title="Abhängige Variable">abhängige Variable</a> durch eine oder mehrere <a href="Unabh%C3%A4ngige_Variable" class="mw-redirect" title="Unabhängige Variable">unabhängige Variablen</a> zu erklären. Bei der linearen Regression wird dabei ein <a href="Lineares_Modell" title="Lineares Modell">lineares Modell</a> (kurz: <b>LM</b>) angenommen. Es werden also nur solche Zusammenhänge herangezogen, bei denen die abhängige Variable eine <a href="Linearkombination" title="Linearkombination">Linearkombination</a> der <a href="Regressionskoeffizient" class="mw-redirect" title="Regressionskoeffizient">Regressionskoeffizienten</a> (aber nicht notwendigerweise der unabhängigen Variablen) ist. Der Begriff Regression bzw. <a href="Regression_zur_Mitte" title="Regression zur Mitte">Regression zur Mitte</a> wurde vor allem durch den Statistiker <a href="Francis_Galton" title="Francis Galton">Francis Galton</a> geprägt.

</p>

<div class="mw-heading mw-heading2"><h2 id="Einfache_lineare_Regression">Einfache lineare Regression</h2></div>

<div class="hauptartikel" role="navigation"><span class="hauptartikel-pfeil" title="siehe" aria-hidden="true" role="presentation">→ </span><i><span class="hauptartikel-text">Hauptartikel</span>: <a href="Lineare_Einfachregression" title="Lineare Einfachregression">Lineare Einfachregression</a></i></div>

<p>Das einfache lineare Regressionsmodell (kurz: <i>ELR</i>) geht von lediglich zwei metrischen Größen aus: einer Einflussgröße <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle X}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle X}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/68baa052181f707c662844a465bfeeb135e82bab.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.98ex; height:2.176ex;" alt="{\displaystyle X}" loading="lazy"></span> und einer Zielgröße <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle Y}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle Y}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/961d67d6b454b4df2301ac571808a3538b3a6d3f.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.171ex; width:1.773ex; height:2.009ex;" alt="{\displaystyle Y}" loading="lazy"></span>. Durch die einfache lineare Regression wird mithilfe zweier Parameter eine Gerade (<b>Regressionsgerade</b>) so durch eine <a href="Punktwolke" title="Punktwolke">Punktwolke</a> gelegt, dass der lineare Zusammenhang zwischen <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle X}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle X}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/68baa052181f707c662844a465bfeeb135e82bab.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.98ex; height:2.176ex;" alt="{\displaystyle X}" loading="lazy"></span> und <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle Y}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle Y}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/961d67d6b454b4df2301ac571808a3538b3a6d3f.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.171ex; width:1.773ex; height:2.009ex;" alt="{\displaystyle Y}" loading="lazy"></span> möglichst gut beschrieben wird. Die Gleichung der linearen Einfachregression ist gegeben durch

</p>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle Y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dotsc ,n}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/629fbfc0fa2c45286a39ff419fa8a6a7efc6fbd0.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:34.675ex; height:2.509ex;" alt="{\displaystyle Y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dotsc ,n}" loading="lazy"></span>.</dd></dl>

<div class="mw-heading mw-heading2"><h2 id="Multiple_lineare_Regression">Multiple lineare Regression</h2></div>

<div class="hauptartikel" role="navigation"><span class="hauptartikel-pfeil" title="siehe" aria-hidden="true" role="presentation">→ </span><i><span class="hauptartikel-text">Hauptartikel</span>: <a href="Multiple_lineare_Regression" title="Multiple lineare Regression">Multiple lineare Regression</a></i></div>

<p>Die multiple lineare Regression (kurz: <b>MLR</b>) stellt eine Verallgemeinerung der einfachen linearen Regression dar, wobei nun K Regressoren angenommen werden, welche die abhängige Variable erklären sollen. Zusätzlich zu der Variation über die Beobachtungen wird also auch eine Variation über die Regressoren angenommen, wodurch sich ein <a href="Lineares_Gleichungssystem" title="Lineares Gleichungssystem">lineares Gleichungssystem</a> ergibt, das sich in Matrixnotation wie folgt zusammenfassen lässt:

</p>

</mrow>

</mrow>

</mrow>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}\;}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/76e676234cce32f311c76eabdf9128a8bf304495.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:12.778ex; height:2.509ex;" alt="{\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}\;}" loading="lazy"></span> mit <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})}">

</mrow>

</mrow>

</mrow>

<msup>

</mrow>

</msup>

<msub>

</mrow>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/567b32882ac2e5e43f998b449bbbdbd65f48fb39.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:16.216ex; height:3.176ex;" alt="{\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})}" loading="lazy"></span>.</dd></dl>

<div class="mw-heading mw-heading3"><h3 id="Verallgemeinerte_lineare_Regression">Verallgemeinerte lineare Regression</h3></div>

<div class="hauptartikel" role="navigation"><span class="hauptartikel-pfeil" title="siehe" aria-hidden="true" role="presentation">→ </span><i><span class="hauptartikel-text">Hauptartikel</span>: <a href="Verallgemeinerte_Kleinste-Quadrate-Sch%C3%A4tzung" title="Verallgemeinerte Kleinste-Quadrate-Schätzung">Verallgemeinerte Kleinste-Quadrate-Schätzung</a></i></div>

<p>Das <a href="Verallgemeinerte_Kleinste-Quadrate-Sch%C3%A4tzung#Das_verallgemeinerte_lineare_Regressionsmodell_(VLR)" title="Verallgemeinerte Kleinste-Quadrate-Schätzung">verallgemeinerte lineare Regressionsmodell</a> (kurz: <b>VLR</b>) ist eine Erweiterung des multiplen linearen Regressionsmodells, bei dem zusätzlich <a href="Heteroskedastizit%C3%A4t" class="mw-redirect" title="Heteroskedastizität">Heteroskedastizität</a> und <a href="Autokorrelation" title="Autokorrelation">Autokorrelation</a> erlaubt ist. Die <a href="Varianz-Kovarianzmatrix" class="mw-redirect" title="Varianz-Kovarianzmatrix">Varianz-Kovarianzmatrix</a> der Fehlerterme ist dann nicht mehr <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \sigma ^{2}\mathbf {I} _{T}}">

<msup>

</mrow>

</msup>

<msub>

</mrow>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \sigma ^{2}\mathbf {I} _{T}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/8ed83c25596ab640a0aeabe65c1c2594a6dab8a7.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:4.788ex; height:3.009ex;" alt="{\displaystyle \sigma ^{2}\mathbf {I} _{T}}" loading="lazy"></span>, sondern eine nicht konstante Matrix <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\boldsymbol {\Phi }}=\sigma ^{2}\mathbf {\Psi } }">

</mrow>

<msup>

</mrow>

</msup>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\boldsymbol {\Phi }}=\sigma ^{2}\mathbf {\Psi } }</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/13e4ced8912326d31aa3fbe041834b581ce72050.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:9.492ex; height:2.676ex;" alt="{\displaystyle {\boldsymbol {\Phi }}=\sigma ^{2}\mathbf {\Psi } }" loading="lazy"></span>. In Matrixnotation lautet das Modell:

</p>

</mrow>

</mrow>

</mrow>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}\;}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/76e676234cce32f311c76eabdf9128a8bf304495.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:12.778ex; height:2.509ex;" alt="{\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}\;}" loading="lazy"></span> mit <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}{\boldsymbol {\Psi }})}">

</mrow>

</mrow>

</mrow>

<msup>

</mrow>

</msup>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}{\boldsymbol {\Psi }})}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/ce85a09ad18a779c092286290d8131e280dd02a7.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:15.891ex; height:3.176ex;" alt="{\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}{\boldsymbol {\Psi }})}" loading="lazy"></span>.</dd></dl>

<div class="mw-heading mw-heading3"><h3 id="Klassische_Normalregression">Klassische Normalregression</h3></div>

<div class="hauptartikel" role="navigation"><span class="hauptartikel-pfeil" title="siehe" aria-hidden="true" role="presentation">→ </span><i><span class="hauptartikel-text">Hauptartikel</span>: <a href="Klassisches_lineares_Modell_der_Normalregression" title="Klassisches lineares Modell der Normalregression">Klassisches lineares Modell der Normalregression</a></i></div>

<p>Wird zu dem bisherigen (klassischen) multiplen linearen Modell (kurz: <b>KLM</b>) auch die Annahme der Normalverteiltheit der Fehlerterme getroffen, dann spricht man auch von einem klassischen linearen Modell der Normalregression. Die Annahme der <a href="Normalverteilung" title="Normalverteilung">Normalverteilung</a> der Fehlerterme wird benötigt, um statistische Inferenz durchzuführen, d. h., sie wird benötigt, um <a href="Konfidenzintervall" title="Konfidenzintervall">Konfidenzintervalle</a> und <a href="Signifikanztest" class="mw-redirect" title="Signifikanztest">Signifikanztests</a> berechnen zu können.

</p>

</mrow>

</mrow>

</mrow>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}\;}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/76e676234cce32f311c76eabdf9128a8bf304495.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:12.778ex; height:2.509ex;" alt="{\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}\;}" loading="lazy"></span> mit <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})}">

</mrow>

</mrow>

</mrow>

<msup>

</mrow>

</msup>

<msub>

</mrow>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/567b32882ac2e5e43f998b449bbbdbd65f48fb39.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:16.216ex; height:3.176ex;" alt="{\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})}" loading="lazy"></span>.</dd></dl>

<div class="mw-heading mw-heading3"><h3 id="Paneldatenregression">Paneldatenregression</h3></div>

<div class="hauptartikel" role="navigation"><span class="hauptartikel-pfeil" title="siehe" aria-hidden="true" role="presentation">→ </span><i><span class="hauptartikel-text">Hauptartikel</span>: <a href="Lineare_Paneldatenmodelle" title="Lineare Paneldatenmodelle">Lineare Paneldatenmodelle</a></i></div>

<p>Das allgemeine lineare <a href="Paneldaten" title="Paneldaten">Paneldatenmodell</a> lässt zu, dass der Achsenabschnitt und die Steigungsparameter zum einen über die Individuen <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle i}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle i}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/add78d8608ad86e54951b8c8bd6c8d8416533d20.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:0.802ex; height:2.176ex;" alt="{\displaystyle i}" loading="lazy"></span> (in Querschnittsdimension) und zum anderen über die Zeit <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle t}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle t}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/65658b7b223af9e1acc877d848888ecdb4466560.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:0.84ex; height:2.009ex;" alt="{\displaystyle t}" loading="lazy"></span> variieren (nicht-zeitinvariant). Das allgemeine lineare Paneldatenmodell lautet:

</p><p><span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle y_{it}=\alpha _{it}+\mathbf {x} _{it}^{\top }{\boldsymbol {\beta }}_{it}+\varepsilon _{it},\;\;i=1,\dotsc ,N;\;\;t=1,\dotsc ,T}">

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

</mrow>

</mrow>

</mrow>

</msubsup>

<msub>

</mrow>

</mrow>

</msub>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle y_{it}=\alpha _{it}+\mathbf {x} _{it}^{\top }{\boldsymbol {\beta }}_{it}+\varepsilon _{it},\;\;i=1,\dotsc ,N;\;\;t=1,\dotsc ,T}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/5b7f28540cda15b3e114e5c005ca9b1f01ec3e46.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:51.388ex; height:3.176ex;" alt="{\displaystyle y_{it}=\alpha _{it}+\mathbf {x} _{it}^{\top }{\boldsymbol {\beta }}_{it}+\varepsilon _{it},\;\;i=1,\dotsc ,N;\;\;t=1,\dotsc ,T}" loading="lazy"></span>

</p><p>mit der Varianz-Kovarianzmatrix:

</p>

</mrow>

</mrow>

<msup>

</mrow>

</mrow>

</msup>

</mrow>

<msub>

</mrow>

</mrow>

</msub>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \operatorname {Cov} ({\boldsymbol {\varepsilon }})=\operatorname {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top })=\mathbf {\Sigma } \otimes \mathbf {I} _{T}=\mathbf {\Phi } }</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/40a3e30b98634c9fb13cf1b5a417c199402aa2d4.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:32.871ex; height:3.176ex;" alt="{\displaystyle \operatorname {Cov} ({\boldsymbol {\varepsilon }})=\operatorname {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top })=\mathbf {\Sigma } \otimes \mathbf {I} _{T}=\mathbf {\Phi } }" loading="lazy"></span></dd></dl>

<p>Hierbei ist <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle y_{it}}">

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle y_{it}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/8a78584966237d2707cee7f5492d7376cb51e884.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:2.533ex; height:2.009ex;" alt="{\displaystyle y_{it}}" loading="lazy"></span> eine skalar vorliegende abhängige Variable, <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \mathbf {x} _{it}^{\top }}">

</mrow>

</mrow>

</mrow>

</msubsup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \mathbf {x} _{it}^{\top }}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/e3312e6c4924cf69635c19f3cc642be558946d05.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:2.922ex; height:3.176ex;" alt="{\displaystyle \mathbf {x} _{it}^{\top }}" loading="lazy"></span> ist ein <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle (K\times 1)}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle (K\times 1)}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/49f222358352c335e661fce151ee5ffb57d2f118.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:7.878ex; height:2.843ex;" alt="{\displaystyle (K\times 1)}" loading="lazy"></span>-Vektor von unabhängigen Variablen, <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \varepsilon _{it}}">

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \varepsilon _{it}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/d775f006309866e0a727d330a064f5da1257d6e9.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:2.477ex; height:2.009ex;" alt="{\displaystyle \varepsilon _{it}}" loading="lazy"></span> ist ein skalar vorliegender Fehlerterm.

Da dieses Modell zu allgemein ist und nicht schätzbar ist, wenn es mehr Parameter als Beobachtungen gibt, müssen bezüglich der Variation von <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \alpha _{it}}">

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \alpha _{it}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/611da2aa941f7a6ba5e13847f06a1f3477037eb2.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:2.881ex; height:2.009ex;" alt="{\displaystyle \alpha _{it}}" loading="lazy"></span> und <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \beta _{it}}">

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \beta _{it}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/acfc45c05fb9fcba732f6ca53b4495bf42ee705f.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:2.709ex; height:2.509ex;" alt="{\displaystyle \beta _{it}}" loading="lazy"></span> mit <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle i}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle i}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/add78d8608ad86e54951b8c8bd6c8d8416533d20.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:0.802ex; height:2.176ex;" alt="{\displaystyle i}" loading="lazy"></span> und <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle t}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle t}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/65658b7b223af9e1acc877d848888ecdb4466560.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:0.84ex; height:2.009ex;" alt="{\displaystyle t}" loading="lazy"></span> und bezüglich des Verhaltens des Fehlerterms einschränkende Annahmen getroffen werden. Diese zusätzlichen Restriktionen und die darauf aufbauenden Modelle sind Themen der <a href="Lineare_Paneldatenmodelle" title="Lineare Paneldatenmodelle">linearen Paneldatenmodelle</a> und der <a href="Paneldatenanalyse" title="Paneldatenanalyse">Paneldatenanalyse</a>.

</p>

<div class="mw-heading mw-heading2"><h2 id="Generalisierte_Lineare_Modelle">Generalisierte Lineare Modelle</h2></div>

<div class="hauptartikel" role="navigation"><span class="hauptartikel-pfeil" title="siehe" aria-hidden="true" role="presentation">→ </span><i><span class="hauptartikel-text">Hauptartikel</span>: <a href="Generalisierte_Lineare_Modelle" class="mw-redirect" title="Generalisierte Lineare Modelle">Generalisierte Lineare Modelle</a></i></div>

<p>Lineare Modelle lassen sich dahingehend erweitern, dass keine feste Datenmatrix untersucht wird, sondern auch diese zufallsbehaftet ist. Dieses Modell nennt man generalisiertes lineares Modell (kurz: <b>GLM</b>). Die Untersuchungsmethoden ändern sich in diesem Fall nicht substantiell, werden aber deutlich komplizierter und damit rechenaufwendiger.

</p>

<div class="mw-heading mw-heading2"><h2 id="Allgemeine_lineare_Modelle">Allgemeine lineare Modelle</h2></div>

<div class="hauptartikel" role="navigation"><span class="hauptartikel-pfeil" title="siehe" aria-hidden="true" role="presentation">→ </span><i><span class="hauptartikel-text">Hauptartikel</span>: <a href="Allgemeines_lineares_Modell" title="Allgemeines lineares Modell">Allgemeines lineares Modell</a></i></div>

<p>Das allgemeine lineare Modell (kurz: <b>ALM</b>) betrachtet die Situation, bei der die abhängige Variable <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle Y}">

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle Y}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/961d67d6b454b4df2301ac571808a3538b3a6d3f.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.171ex; width:1.773ex; height:2.009ex;" alt="{\displaystyle Y}" loading="lazy"></span> kein Skalar, sondern ein Vektor ist. In diesem Fall wird ebenfalls konditionierte Linearität <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \operatorname {E} (\mathbf {y} \mid \mathbf {X} )=\mathbf {X} \mathbf {B} }">

</mrow>

</mrow>

</mrow>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \operatorname {E} (\mathbf {y} \mid \mathbf {X} )=\mathbf {X} \mathbf {B} }</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/448a0b415f495cdc45b86308e18b1c9c90999d6a.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:15.779ex; height:2.843ex;" alt="{\displaystyle \operatorname {E} (\mathbf {y} \mid \mathbf {X} )=\mathbf {X} \mathbf {B} }" loading="lazy"></span> wie beim klassischen linearen Modell angenommen, aber mit einer Matrix <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \mathbf {B} }">

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \mathbf {B} }</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/cafb0ef39b0f5ffa23c170aa7f7b4e718327c4d1.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.901ex; height:2.176ex;" alt="{\displaystyle \mathbf {B} }" loading="lazy"></span>, die den Vektor <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\boldsymbol {\beta }}}">

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\boldsymbol {\beta }}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/702cafc420cc00c54896f6d125112820956aaf6b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:1.534ex; height:2.509ex;" alt="{\displaystyle {\boldsymbol {\beta }}}" loading="lazy"></span> des klassischen linearen Modells ersetzt. Multivariate Pendants zu der gewöhnlichen <a href="Methode_der_kleinsten_Quadrate" title="Methode der kleinsten Quadrate">Methode der kleinsten Quadrate</a> und zu der <a href="Verallgemeinerte_Methode_der_kleinsten_Quadrate" class="mw-redirect" title="Verallgemeinerte Methode der kleinsten Quadrate">verallgemeinerten Methode der kleinsten Quadrate</a> wurden entwickelt. <i>Allgemeine lineare Modelle</i> werden auch „multivariate lineare Modelle“ genannt. Diese sind aber nicht mit multiplen linearen Modellen zu verwechseln. Das allgemeine lineare Modell ist gegeben durch

</p>

</mrow>

</mrow>

</mrow>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle \mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {U} }</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/e667a52d8b01052736dd2f4712e2b36d58f10d08.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.505ex; width:13.936ex; height:2.343ex;" alt="{\displaystyle \mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {U} }" loading="lazy"></span>.</dd></dl>

<div class="mw-heading mw-heading2"><h2 id="Orthogonale_Regression">Orthogonale Regression</h2></div>

<div class="hauptartikel" role="navigation"><span class="hauptartikel-pfeil" title="siehe" aria-hidden="true" role="presentation">→ </span><i><span class="hauptartikel-text">Hauptartikel</span>: <a href="Orthogonale_Regression" title="Orthogonale Regression">Orthogonale Regression</a></i></div>

<p>Die orthogonale Regression (genauer: orthogonale lineare Regression) dient zur Berechnung einer Ausgleichsgeraden für eine endliche Menge metrisch skalierter Datenpaare <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle (x_{i},y_{i})}">

<msub>

</mrow>

</msub>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle (x_{i},y_{i})}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/d6dbb919b91ccacf17ed47898048428a1baf9703.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:6.912ex; height:2.843ex;" alt="{\displaystyle (x_{i},y_{i})}" loading="lazy"></span> nach der Methode der kleinsten Quadrate, wobei allerdings Fehler in x und y angenommen werden.

</p>

<div class="mw-heading mw-heading2"><h2 id="Regularisierung_der_Regression">Regularisierung der Regression</h2></div>

<p>Um ein gewünschtes Verhalten der Regression zu gewährleisten und somit eine <a href="%C3%9Cberanpassung" title="Überanpassung">Überanpassung</a> an den Trainingsdatensatz zu vermeiden, gibt es die Möglichkeit, den Regressionsterm mit <i>Straftermen</i> zu versehen, die als <a href="Nebenbedingung" title="Nebenbedingung">Nebenbedingungen</a> auftreten.

</p><p>Zu den bekanntesten <a href="Regularisierung" class="mw-disambig" title="Regularisierung">Regularisierungen</a> gehören hierbei:<sup id="cite_ref-1" class="reference"><a href="#cite_note-1"><span class="cite-bracket">[</span>1<span class="cite-bracket">]</span></a></sup>

</p>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle L_{1}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/0e79dc1b001f8b923df475ed14de023cbc456013.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:2.637ex; height:2.509ex;" alt="{\displaystyle L_{1}}" loading="lazy"></span>-Regularisierung (auch LASSO-Regularisierung genannt): Durch <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda \|{\boldsymbol {\beta }}\|_{1})}">

<mover>

</mover>

</mrow>

<mrow>

</mrow>

</munder>

</mrow>

</mrow>

</mrow>

</mrow>

<msup>

</mrow>

</msup>

</mrow>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda \|{\boldsymbol {\beta }}\|_{1})}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/04c751f16cfb86995a6b557a909c03e8c7b656ce.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.838ex; width:34.357ex; height:5.343ex;" alt="{\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda \|{\boldsymbol {\beta }}\|_{1})}" loading="lazy"></span> werden bevorzugt einzelne Elemente des Vektors <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\boldsymbol {\hat {\beta }}}}">

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\boldsymbol {\hat {\beta }}}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/db74a112c44daacba85b2a69f8daabdf4208e155.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:1.658ex; height:3.176ex;" alt="{\displaystyle {\boldsymbol {\hat {\beta }}}}" loading="lazy"></span> minimiert. Die übrigen Elemente des Vektors können jedoch (betragsmäßig) große Werte annehmen. Dies begünstigt die Bildung <a href="D%C3%BCnnbesetzte_Matrix" title="Dünnbesetzte Matrix">dünnbesetzter Matrizen</a>, was effizientere Algorithmen ermöglicht.</li>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle L_{2}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/c6a952cfe42c86b7741f55a817da0e251793a358.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:2.637ex; height:2.509ex;" alt="{\displaystyle L_{2}}" loading="lazy"></span>-Regularisierung (auch Ridge-Regularisierung genannt): Durch <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda \|{\boldsymbol {\beta }}\|^{2})}">

<mover>

</mover>

</mrow>

<mrow>

</mrow>

</munder>

</mrow>

</mrow>

</mrow>

</mrow>

<msup>

</mrow>

</msup>

</mrow>

<msup>

</mrow>

</msup>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda \|{\boldsymbol {\beta }}\|^{2})}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/9ff5ff080c7ac9620737b4de0dec417af6b1768c.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.838ex; width:34.357ex; height:5.343ex;" alt="{\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda \|{\boldsymbol {\beta }}\|^{2})}" loading="lazy"></span> wird der gesamte Vektor <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\boldsymbol {\hat {\beta }}}}">

<mover>

</mover>

</mrow>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\boldsymbol {\hat {\beta }}}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/db74a112c44daacba85b2a69f8daabdf4208e155.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:1.658ex; height:3.176ex;" alt="{\displaystyle {\boldsymbol {\hat {\beta }}}}" loading="lazy"></span> gleichmäßig minimiert, die Matrizen sind jedoch <i>voller.</i></li>

<li>Das elastische Netz: Hierbei wird durch den Ausdruck <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda _{2}\|{\boldsymbol {\beta }}\|^{2}+\lambda _{1}\|{\boldsymbol {\beta }}\|_{1})}">

<mover>

</mover>

</mrow>

<mrow>

</mrow>

</munder>

</mrow>

</mrow>

</mrow>

</mrow>

<msup>

</mrow>

</msup>

<msub>

</mrow>

</msub>

</mrow>

<msup>

</mrow>

</msup>

<msub>

</mrow>

</msub>

</mrow>

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda _{2}\|{\boldsymbol {\beta }}\|^{2}+\lambda _{1}\|{\boldsymbol {\beta }}\|_{1})}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/61dac31ba6c0e7b7fc496c7d91ec1472d9812da8.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.838ex; width:45.575ex; height:5.343ex;" alt="{\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda _{2}\|{\boldsymbol {\beta }}\|^{2}+\lambda _{1}\|{\boldsymbol {\beta }}\|_{1})}" loading="lazy"></span> sowohl die <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle L_{1}}">

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle L_{1}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/0e79dc1b001f8b923df475ed14de023cbc456013.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:2.637ex; height:2.509ex;" alt="{\displaystyle L_{1}}" loading="lazy"></span>- als auch die <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle L_{2}}">

<msub>

</mrow>

</msub>

</mstyle>

</mrow>

<annotation encoding="application/x-tex">{\displaystyle L_{2}}</annotation>

</semantics>

</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/c6a952cfe42c86b7741f55a817da0e251793a358.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:2.637ex; height:2.509ex;" alt="{\displaystyle L_{2}}" loading="lazy"></span>-Regularisierung durchgeführt.</li></ul>

<div class="mw-heading mw-heading2"><h2 id="Anwendungen_der_Regressionsanalyse">Anwendungen der Regressionsanalyse</h2></div>

<p>Spezielle Anwendungen der Regressionsanalyse beziehen sich auch auf die Analyse von diskreten und im Wertebereich eingeschränkten abhängigen Variablen. Hierbei kann unterschieden werden nach Art der abhängigen Variablen und Art der Einschränkung des Wertebereichs. Im Folgenden werden die Regressionsmodelle, die an dieser Stelle angewandt werden können, aufgeführt. Nähere Angaben hierzu finden sich bei Frone (1997)<sup id="cite_ref-2" class="reference"><a href="#cite_note-2"><span class="cite-bracket">[</span>2<span class="cite-bracket">]</span></a></sup> und bei Long (1997).<sup id="cite_ref-3" class="reference"><a href="#cite_note-3"><span class="cite-bracket">[</span>3<span class="cite-bracket">]</span></a></sup>

</p><p>Modelle für unterschiedliche Arten abhängiger Variablen (<a href="Generalisierte_Lineare_Modelle" class="mw-redirect" title="Generalisierte Lineare Modelle">Generalisierte Lineare Modelle</a>):

</p>

<ul><li>Binär: <a href="Logistische_Regression" title="Logistische Regression">Logistische Regression</a> und <a href="Probitmodell" class="mw-redirect" title="Probitmodell">Probit-Regression</a></li>

<li>Ordinal: Ordinale logistische Regression und ordinale Probit-Regression</li>

<li>Absolut: Poisson-Regression, negative binomiale Regression</li>

<li>Nominal: <a href="Multinomiale_logistische_Regression" title="Multinomiale logistische Regression">Multinomiale logistische Regression</a></li></ul>

<p>Modelle für unterschiedliche Arten eingeschränkter Wertebereiche:

</p>

<ul><li>Zensiert: <a href="Tobit-Modell" title="Tobit-Modell">Tobit-Modell</a></li>

<li>Gestutzt: gestutzte Regression</li>

<li>Stichproben-selegiert <i>(sample-selected):</i> Stichproben-selegierte Regression</li></ul>

<div class="mw-heading mw-heading3"><h3 id="Anwendung_in_der_Ökonometrie"><span id="Anwendung_in_der_.C3.96konometrie"></span>Anwendung in der Ökonometrie</h3></div>

<p>Für quantitative Wirtschaftsanalysen im Rahmen der Regressionsanalyse, beispielsweise der <a href="%C3%96konometrie" title="Ökonometrie">Ökonometrie</a>, sind besonders geeignet:

</p>

<ul><li>Wachstumsfunktionen, wie zum Beispiel das Gesetz des organischen Wachstums oder die <a href="Zinseszinsrechnung" class="mw-redirect" title="Zinseszinsrechnung">Zinseszinsrechnung</a>,</li>

<li>Abschwingfunktionen, wie zum Beispiel die hyperbolische Verteilungsfunktion oder die Korachsche Preisfunktion,</li>

<li>Schwanenhalsfunktionen, wie zum Beispiel die im Rahmen der <a href="Logistische_Regression" title="Logistische Regression">logistischen Regression</a> verwendete <a href="Logistische_Funktion" title="Logistische Funktion">logistische Funktion</a>, die Johnson-Funktion oder die Potenzexponentialfunktion,</li>

<li>degressive Saturationsfunktionen, wie zum Beispiel die <a href="Gompertz-Funktion" title="Gompertz-Funktion">Gompertz-Funktion</a> oder die Törnquist-Funktion.</li></ul>

<div class="mw-heading mw-heading2"><h2 id="Weblinks">Weblinks</h2></div>

<div class="sisterproject" style="margin:0.1em 0 0 0;"><div class="noviewer" style="display:inline-block; line-height:10px; min-width:1.6em; text-align:center;" aria-hidden="true" role="presentation"><span class="mw-default-size" typeof="mw:File"><span title="Wikibooks"></span></span></div><b><a href="https://de.wikibooks.org/wiki/Statistik:_Regressionsanalyse" class="extiw external" title="b:Statistik: Regressionsanalyse">Wikibooks: Einführung in die Regressionsrechnung</a></b> – Lern- und Lehrmaterialien</div>

<div class="sisterproject" style="margin:0.1em 0 0 0;"><div class="noresize noviewer" style="display:inline-block; line-height:10px; min-width:1.6em; text-align:center;" aria-hidden="true" role="presentation"><span class="mw-default-size" typeof="mw:File"><span title="Commons"></span></span></div><b><span class=""><a class="external text" href="https://commons.wikimedia.org/wiki/Category:Linear_regression?uselang=de"><span lang="en">Commons</span>: Lineare Regression</a></span></b> – Sammlung von Bildern, Videos und Audiodateien</div>

<div class="mw-heading mw-heading2"><h2 id="Literatur">Literatur</h2></div>

<ul><li>Norman R. Draper, Harry Smith: <i>Applied Regression Analysis.</i> 3. Auflage. Wiley, New York 1998, ISBN 0-471-17082-8.</li>

<li><a href="Ludwig_Fahrmeir" title="Ludwig Fahrmeir">Ludwig Fahrmeir</a>, <a href="Thomas_Kneib" title="Thomas Kneib">Thomas Kneib</a>, <a href="Stefan_Lang_(Statistiker)" title="Stefan Lang (Statistiker)">Stefan Lang</a>: <i>Regression: Modelle, Methoden und Anwendungen.</i> Springer Verlag, Berlin / Heidelberg / New York 2007, ISBN 978-3-540-33932-8.</li>

<li>Peter Schönfeld: <i>Methoden der <a href="%C3%96konometrie" title="Ökonometrie">Ökonometrie</a>.</i> Berlin / Frankfurt 1969.</li>

<li>Dieter Urban, Jochen Mayerl: <i>Regressionsanalyse: Theorie, Technik und Anwendung.</i> 2., überarb. Auflage. VS Verlag, Wiesbaden 2006, ISBN 3-531-33739-4.</li>

<li>G. Judge, R. Carter Hill: <i>Introduction to the Theory and Practice of Econometrics.</i> Wiley, New York 1988, ISBN 0-471-62414-4.</li></ul>

<div class="mw-heading mw-heading2"><h2 id="Einzelnachweise">Einzelnachweise</h2></div>

<li id="cite_note-1"><span class="mw-cite-backlink"><a href="#cite_ref-1">↑</a></span> <span class="reference-text">Hui Zou, Trevor Hastie: <i><a rel="nofollow" class="external text" href="http://web.stanford.edu/~hastie/TALKS/enet_talk.pdf">Regularization and Variable Selection via the Elastic Net.</a></i> (PDF; 185 kB).</span>

</li>

<li id="cite_note-2"><span class="mw-cite-backlink"><a href="#cite_ref-2">↑</a></span> <span class="reference-text">M. R. Frone: <i>Regression models for discrete and limited dependent variables.</i> Research Methods Forum No. 2, 1997, <style data-mw-deduplicate="TemplateStyles:r261891140">

/* start https://de.wikipedia.org/ */

.mw-parser-output .webarchiv-memento a{color:inherit}

/* end https://de.wikipedia.org/ */

</style><a rel="nofollow" class="external text" href="https://web.archive.org/web/20070107012608/http://division.aomonline.org/rm/1997_forum_regression_models.html"><i>online.</i></a> (<span class="webarchiv-memento"><a href="Webarchivierung#Begrifflichkeiten" title="Webarchivierung">Memento</a></span> vom 7. Januar 2007 im <i><a href="Internet_Archive" title="Internet Archive">Internet Archive</a></i>).</span>

</li>

<li id="cite_note-3"><span class="mw-cite-backlink"><a href="#cite_ref-3">↑</a></span> <span class="reference-text">J. S. Long: <i>Regression models for categorical and limited dependent variables.</i> Sage, Thousand Oaks, CA 1997.</span>

</li>

</ol></div><div><div class="zim-footer">

Dieser Artikel wurde von <a class="external text" title="Zuletzt bearbeitet am 2025-02-24" href="https://de.wikipedia.org/wiki/?title=Lineare_Regression&oldid=253644738">Wikipedia</a> herausgegeben. Der Text ist unter <a class="external text" href="https://creativecommons.org/licenses/by-sa/4.0/deed.de">Creative Commons Attribution-Share Alike 4.0</a> verfügbar, sofern nicht anders angegeben. Für die Mediendateien können zusätzliche Bedingungen gelten.

</div>

</div></div>

</div>

</main>

</div>

</body></html>